[LIBXC] Python error extraction tweak.
Signed-off-by: Keir Fraser <keir@xensource.com>

Merge

Merge

Remove unused KEXEC_RANGE_VA_XEN.

KEXEC_RANGE_VA_XEN is currently unused and there is no point in exporting it.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>
---

 Applies to xen-unstable-12756

 xen/common/kexec.c         |   13 +++----------
 xen/include/public/kexec.h |    3 +--
 2 files changed, 4 insertions(+), 12 deletions(-)

[XEND] Fix configureBootloader to work with HTTP/SEXP.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

[LIBXC] Add an error reporting API to the libxc library.

 - An 'xc_error' struct is used to pass around error
   details. Currently contains two members 'code' an enumeration of
   error types, and 'message' a free text description of the specific
   problem.

 - The xc_get_last_error() method returns a const pointer to the
   internal instance of this struct manged by libxc. By returning a
   const pointer we can add extra members to the end of the struct at
   any time without worrying about ABI of callers. This will let us
   provide more fine-grained info if needed in the future.

 - The xc_error instance is statically defined inside libxc and marked
   __thread. This ensures that errors are recorded per-thread, and
   that when dealing with errors we never need to call malloc - all
   storage needed is statically allocated.

 - The xc_clear_last_error() method resets any currently recorded
   error details

 - The xc_error_code_to_desc() method converts the integer error code
   into a generic user facing messsage. eg "Invalid kernel". Together
   with the 'message' field from xc_error, this provides the user
   visible feedback. eg "Invalid kernel: Non PAE-kernel on PAE host."

 - A callback can be registered with xc_set_error_handler to receive
   notification whenever an error is recorded, rather than querying
   for error details after the fact with xc_get_last_error

 - If built with -DDEBUG set, a default error handler will be
   registered which calls fprintf(stderr), thus maintaining current
   behaviour of logging errors to stderr during developer builds.

 - The python binding for libxc is updated to use xc_get_last_error
   to pull out error details whenever appropriate, instead of
   returning info based on 'errno'

 - The xc_set_error method is private to libxc internals, and is used
   for setting error details

 - The ERROR and PERROR macros have been updated to call xc_set_error
   automatically specifying XC_INTERNAL_ERROR as the error code. This
   gives a generic error report for all current failure points

 - Some uses of the ERROR macro have been replaced with explicit
   calls to xc_set_error to enable finer grained error reporting. In
   particular the code dealing with invalid kernel types uses this
   to report about PAE/architecture/wordsize mismatches

The patch has been tested by calling xm create against a varietry of
config files defining invalid kernels of various kinds. It has also
been tested with libvirt talking to xend. In both cases the error
messages were propagated all the way back up the stack.

There is only one place where I need to do further work. The suspend
& restore APIs in Xend invoke external helper programs rather than
calling libxc directly. This means that error details are essentially
lost. Since there is already code in XenD which scans STDERR from
these programs I will investigate adapting this to extract actual
error messages from these helpers.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

[XEN] Make multiboot-related code more readable.
Tested on i386 and x86_64 with GRUB and PXELINUX bootmanagers.

From: Christoph Egger <Christoph.Egger@amd.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

VMXAssist cleanups

Signed-off-by: Xin Li <xin.b.li@intel.com>

[VTPM][HVM] Transmit the locality in which the command was sent in the
highest 3 bits of the 4 bytes prepended to each packet.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[HVM] Fix reboot failure when configured 'cdrom', i.e. bug 832.
Signed-off-by : Xinmei Huang <xinmei.huang@intel.com>

merge

[HVM] qemu: Add guest address-space mapping cache.

On IA32 host or IA32 PAE host, at present, generally, we can't create
an HVM guest with more than 2G memory, because generally it's almost
impossible for Qemu to find a large enough and consecutive virtual
address space to map an HVM guest's whole physical address space.
The attached patch fixes this issue using dynamic mapping based on
little blocks of memory.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>
Signed-off-by: Dexuan Cui <dexuan.cui@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Update vcpu_avail when parsing configuration.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix reboot for HVM domains if cdrom is empty.

Signed-off-by: Alastair Tse <atse@xensource.com>

Added VM.set_VCPUs_features_force_on, VM.set_VCPUs_features_force_off,
VM.set_otherConfig.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Make VM.VCPUs.number a writable field.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added VBD.type field (CD or Disk).

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Add extra detail to the VM.destroy description.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Add VM.auto_power_on field.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Clarify that memory values are in bytes.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Improved task handling model.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Tidy up the get_by_name_label description.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Clarify that the self parameter is an object reference, not the instance (i.e.
record) itself.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Tidy up the get_record and get_by_uuid descriptions.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

More description tidyups -- constructors and destructors this time.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Tidy-up some of the descriptions.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[XEN] remove unused monitor_vtable mapping.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Added Xen-API implementations for xm pause, xm unpause, xm destroy, xm rename,
and fix xm suspend and xm delete.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Implement VM.set_name_label.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added support for configuration file for xm, and use that to specify
contact and authentication details for the Xen-API server.

The default behaviour is still to use the existing legacy XML-RPC server.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added server proxy and session manager for Xen-API clients.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix server reloading when the HTTP server is enabled.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Don't trace inside SrvServer.py -- it's doing a one-second sleep in a loop, so
it just fills the trace with useless clutter.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Move the actual call routed by do_legacy_api_with_uuid out of the scope of
the domains_lock.  The call itself is already locking as necessary, and it
is important for domain_start to be able to release the lock across the scope
of waitForDevices.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix HTTP server.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix error message.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fixes a mistake in changeset 12732
Signed-off-by: Xiaohui Xin <xiaohui.xin@intel.com>
Signed-off-by: Anthony Xu <anthony.xu@intel.com>
Signed-off-by: Dexuan Cui <dexuan.cui@intel.com>

[LINUX] The crash note resource should be nested inside the hypervisor
resource.

This was exposed by 12709:98413fa7826c which corrected the length of
the hypervisor resource.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[XEN] sh_gfn_to_mfn_foreign() must handle guest pfns above 4GB on PAE
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

This adds a recently added parameter to the vm.start call.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Tidy.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix numpad handling in QEMU's VNC server.  The keymaps that we have include
information on which keys change depending upon the numlock setting, but
this isn't being used.  By forcing numlock on and off as necessary, when
receiving these keysyms through the VNC connection, we ensure that the
server's numlock status is the same as the client's.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Close the server when instructed, so that we can reload on the same port, and
diagnose a server that fails to start.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Diagnose a failing server, rather than just locking up the whole daemon.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added rudimentary "xend reload" functionality.  This allows you to reconfigure
the services offered by Xend, without restarting the daemon itself.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Tidy error message.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

More capitalisation fixes.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

With PERMISSIVE turned on, diagnose missing Enums and Bools, and improve the
diagnosis of missing structure values.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[QEMU] Error reporting in IDE device model.

Following on from my patch to make blktap report I/O errors back to
guest OS, a similar problem exists in the QEMU codebase. The IDE
driver never reports I/O errors during read/write operations back to
the guest OS. Instead all I/O operations are reported as
succesfull. If, for example, the host FS holding the disk image fills
up, then writes may fail due to lack of space. Since the guest OS
never sees these failures, it assumes all is well & will continue
writing. Eventually this can lead to severe & unrecoverable filesystem
corruption.

The attached patch fixes QEMU ide driver such that any failure of a
read or write operation sets the appropriate IDE status/error
registers. Having read the ATA-6 spec I think the most compliant
behaviour is to set the status register to 'READY_STAT | ERR_STAT',
and the error register to ABRT_ERR. There is already a convenience
function ide_abort_command() in the QEMU codebase which does just
this, so the attached patch simply calls that function.

With this patch the guest OS sees the I/O failure & the kernel logs
IDE errors and then retries the operation. This at least ensures that
the guest can be shutdown the out of space issue in the host corrected
and the guest restarted, without any serious filesystem damage having
occurred.

From: Daniel Berrange <berrange@redhat.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Add XEN_FRAMEBUFFER to -xen defconfigs.
Signed-off-by: Atsushi SAKAI <sakaia@jp.fujitsu.com>

Remove useless segments push/pop in VMXAssist.
According to Intel Spec, segments registors are cleared when exiting
virtual-8086 mode through trap or interrupts gate, so it's no need to
save their values in stack.
Signed-off-by: Xin Li <xin.b.li@intel.com>

[PATCH 02/02] Kexec / Kdump: Don't declare _end

_end is already declared in xen/include/asm/config.h, so don't declare
it twice. This solves a powerpc/ia64 build problem where _end is declared
as char _end[] compared to unsigned long _end on x86.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>

[PATCH 01/02] Kexec / Kdump: Use NOTE_ALIGN() instead of ALIGN()

ALIGN() is already defined in xen/include/asm-ia64/config.h. This patch
renames ALIGN() to NOTE_ALIGN() to make the kexec code build on ia64.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>

[XEN] Fix 32-bit build.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Add 'insn_fetch' memory operation to the x86_emulator.

This can be used to perform correct access checks, provide appropriate
error codes when injecting faults, and to implement an
instruction-stream prefetch cache (which is included here for HVM PTE
update emulations).

Signed-off-by: Keir Fraser <keir@xensource.com>

Revert the change to destroy all VMs when skipping or failing tests -- this
needs more thought, because people shouldn't need to set up their Xen-API server
to run the non-Xen-API bits of the test, and at the moment, you get
authentication failures on every SKIP.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Make the xenfb tools an optional part of the build, as they introduce new
dependencies (libvncserver and libsdl devel packages).  Enable them with
XENFB_TOOLS=y.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[XEND] Fix mis-types in XendConfig

Signed-off-by: Alastair Tse <atse@xensource.com>

Merge

Merge

Merge

Use the new xen-api.sock for the calls to the Xen-API server.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[XEND] Re-add vtpm device support in XendConfig

This patch re-adds a recently removed vTPM device handling code.
I am also removing that one code part in the test script that does not
work.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

This patch provides XmTestManagedDomain and XenManagedDomain classes
similar to the XmTestDomain and XenDomain classes. I have wrapped the
xen-api for VM configuration creation, starting and stopping of VMs and
destruction of the VM configuration in the XenManagedDomain class's
methods. No device-related functions are provided through the class.

The managed domains' UUIDs are tracked and all created VMs are destroyed
upon failure or skipping of the test or by calling
xapi.vm_destroy_all().

I am adding a new grouptest 'xapi' for running xen-api tests.

Only caveat: I am using an empty username and password
(XmTestList/xapi.py) with Xend's authentication deactivated to run these
tests.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Merge

[XENAPI] Add extra param for VM.start and fix case for printing out
the output of VM.get_record.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Proper importing of Xen API VM Struct into new XendConfig

Use a smarter method of importing the Xen API VM struct when adding to
XendConfig.

Also add a commented __setitem__ override for XendConfig to type check
certain configuration values.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEN] Allow shutdown code to be set at most once per domain.
SIgned-off-by: Keir Fraser <keir@xensource.com>

[XEND] Fix case mismatch in VM.get_record for Xen API

Also make VM.get_all return halted domains too.

Signed-off-by: Alastair Tse <atse@xensource.com>

Fix a number of flaws in the blktap userspace daemon when dealing
with I/O errors.

There are a number of flaws in the blktap userspace daemon when dealing
with I/O errors.

 - The backends which use AIO check the io_events.res member to determine
  if an I/O error occurred. Which is good. But when calling the callback
  to signal completion of the I/O, they pass the io_events.res2 member

  Now this seems fine at first glance[1]

    "res is the usual result of an I/O operation: the number of bytes
     transfered, or a negative error code. res2 is a second status
     value which will be returned to the user"

  Except that

     "currently (2.6.0-test9), callers of aio_complete() within the
      kernel always set res2 to zero."

  And this hasn't changed anytime since 2.6.0, so by passing through
  the status from 'res2', the callback thinks the I/O operation succeeded
  even when it failed :-(

  The fix is simple instead of passing 'res2', just pass

     ep->res == io->u.c.nbytes ? 0 : 1

  This would solve the error reporting to the guest, except that there
  is a second flaw...

 - The tapdisk I/O completion callback checks the status parameter
  passed in, syslog's it and then returns. It never bothers to send
  the I/O completion response back to the blktap kernel driver when
  a failure occurrs.

  Fortunately the fix for this is also simple. Instead of returning
  from the callback when dealing with an error, we simply toggle the
  status field for the pending response to BLKIF_RSP_ERROR and then
  continue with the normal codepath. So the error eventually gets
  back to the guest.

The scenario I used to discover the problem and test the patch is thus:

 - In dom0  create a filesystem with only 200 MB of free space
 - Create a 1 GB sparse file on this volume.
 - Configure the guest so this sparse file appears as /dev/xvdb
 - In the domU create a single partition on /dev/xvdb and format
  it with ext3.
 - In the DomU, mount /dev/xvdb1 on /mnt and then run

     dd if=/dev/zero of=/mnt/data.bin bs=1GB count=1

Without this patch, the 'dd' command would succeed in writing 1 GB of data
even though the underlying disk in Dom0 was only 200 MB in size. More complex
tests of copying a whole directory heirarchy across resulted in catastrophic
data corruption of the filessytem itself. Manual fsck was needed to fixup
the filesystem & there were many very bad errors needing fixing.

With this patch applied the DomU sees the I/O failures and kernel  logs
messages

Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 722127
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 730327
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 738527
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 746727
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 754927
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 763127
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 771327
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 779527
Dec  1 11:02:53 dhcp-5-203 kernel: end_request: I/O error, dev xvdc, sector 792399

It will retry the I/O operation until it runs out of sectors to try, and then
fail the operation. The filesystem is not seriously damaged - ext3 journal
recovery will trivially cleanup if the guest is rebooted after the disk in
Dom0 is enlarged.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>
[1] http://lwn.net/Articles/24366/

[XEND] Fix outputting device SXPs when domain is halted.

Signed-off-by: Alastair Tse <atse@xensource.com>

[HVM] Cache segment-register contents during PTE-update emulations.
Also clean up page-fault propagation to inject the correct error
code and CR2 value.
Signed-off-by: Keir Fraser <keir@xensource.com>

[TOOLS] Checks for libvncserver-dev and libsdl-dev.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix missing vncpasswd option for HVM domains.

Signed-off-by: Alastair Tse <atse@xensource.com>

Update hgignore list.

[XEN] Remove uses of 'extern inline'.

Original patch by Christoph Egger at AMD.

Signed-off-by: Keir Fraser <keir@xensource.com>

[LIBXC] Add new AP{I function xc_evtchn_bind_unbound_port().
Add a comment clarifying how this function differs from
xc_evtchn_alloc_unbound().
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Emulate XADD instruction.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Reapply fix for ever expanding kernel_args in XendConfig

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Ensure config value types in XendConfig

Add definitions of what we expect the types to be for the values in
XendConfig and apply them when parsing SXP where all values are either
strings or list.

Also fix missing stdvga in HVM config.

Signed-off-by: Alastair Tse <atse@xensource.com>

[LINUX] dev/mem: Rename Xen's mmap_mem to xen_mmap_mem to
avoid conflict with the definition (which still exists and
is used) in drivers/char/mem.c.
Signed-off-by: Keir Fraser <keir@xensource.com>

Actually return something from bool0.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Update README to reflect moved library.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merge.

[PVFB][TOOLS] Don't unwatch the framebuffer frontend's state node just
because it want to state Closed.  Otherwise, we don't notice when
the node gets deleted, and can't reliably shut the backend down.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Set localtime, enable_audio, clock_offset, and std_vga back to being bools, not
ints.  This is a recent breakage.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added log message for when a VM is deleted.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Include the rotated xend.log.X in the bug report.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[PVFB][TOOLS] Fix save/restore for domains with PV framebuffers.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Link test/test_bindings against libxenapi in the new location.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[TOOLS][PVFB] Avoid zombie framebuffer backends.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[TOOLS] Remove some dead code.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Merge.

[PVFB] Make sure that framebuffer backend goes away when the domain
terminates, and that it cleans up its area of xenstore.

Tidy up argument parsing a little while I'm here.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[XEN] Quieten down HVM debug output.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LINUX] The removal of the console_use_vt hack was premature: it's still
required if CONFIG_VT is enabled but the domain isn't currently
configured to use the PV framebuffer.  Put it back in, in a slightly
more palatable form.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[PVFB][TOOLS] Change the configuration syntax for PVFB backends to more
closely match that of other devices.

This involves moving the logic for backend creation out of the image
handlers and in to the device handler, which is a much more sensible
place for it.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

Tidy up the creation of directories that Xend needs.  This avoids potential
races in this creation.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

merge

[XEND] More fixes for HVM device configuration parsing

Removed duplicated acpi option, added missing stdvga option. Do not
output empty configurations in image sxp. Remove bug with vcpus
passing in device model.

Signed-off-by: Alastair Tse <atse@xensource.com>